对抗性学习的研究主要集中在均匀的非结构化数据集上,这些数据集通常自然地映射到问题空间中。将功能空间攻击在异质数据集中倒入问题空间更具挑战性,尤其是找到要执行的扰动的任务。这项工作提出了一种正式的搜索策略:“特征重要的指导攻击”(FIGA),它在异质表格数据集的特征空间中发现扰动以产生逃避攻击。我们首先在特征空间中以及在问题空间中演示FIGA。 FIGA不对捍卫模型的学习算法没有任何先验知识,也不需要任何梯度信息。 FIGA假定对特征表示形式的知识和辩护模型数据集的平均特征值。通过在目标类方向上扰动输入的最重要特征,FIGA利用具有重要的排名。虽然FIGA在概念上与使用特征选择过程(例如模仿攻击)的其他作品相似,但我们将具有三个可调参数的攻击算法形式化,并在表格数据集上研究FIGA的强度。我们通过在四个不同的表网络钓鱼数据集中训练的网络钓鱼检测模型和一个平均成功率为94%的金融数据集来证明FIGA的有效性。我们通过限制可能在网络钓鱼域中有效且可行的扰动,将FIGA扩展到网络钓鱼问题空间。我们生成有效的对抗网站,这些网站在视觉上与其不受干扰的对应物相同,并使用它们来攻击六个表格的ML模型,达到13.05%的平均成功率。
translated by 谷歌翻译
Estimating uncertainty in image-to-image networks is an important task, particularly as such networks are being increasingly deployed in the biological and medical imaging realms. In this paper, we introduce a new approach to this problem based on masking. Given an existing image-to-image network, our approach computes a mask such that the distance between the masked reconstructed image and the masked true image is guaranteed to be less than a specified threshold, with high probability. The mask thus identifies the more certain regions of the reconstructed image. Our approach is agnostic to the underlying image-to-image network, and only requires triples of the input (degraded), reconstructed and true images for training. Furthermore, our method is agnostic to the distance metric used. As a result, one can use $L_p$-style distances or perceptual distances like LPIPS, which contrasts with interval-based approaches to uncertainty. Our theoretical guarantees derive from a conformal calibration procedure. We evaluate our mask-based approach to uncertainty on image colorization, image completion, and super-resolution tasks, demonstrating high quality performance on each.
translated by 谷歌翻译
决策和计划最复杂的任务之一是收集信息。当状态具有高维度,并且无法用参数分布表达其信念时,此任务就会变得更加复杂。尽管国家是高维的,但在许多问题中,其中只有一小部分可能涉及过渡状态和产生观察结果。我们利用这一事实来计算信息理论的预期奖励,共同信息(MI),在国家的较低维度子集中,以提高效率和不牺牲准确性。以前的工作中使用了类似的方法,但专门用于高斯分布,我们在这里将其扩展为一般分布。此外,我们将降低维度降低用于将新状态扩展到上一个的情况下,又不牺牲准确性。然后,我们继续开发以连续的蒙特卡洛(SMC)方式工作的MI估计器,并避免重建未来信念的表面。最后,我们展示了如何将这项工作应用于信息丰富的计划优化问题。然后在模拟主动大满贯问题的模拟中评估这项工作,其中证明了准确性和时序的提高。
translated by 谷歌翻译
许多具有挑战性的现实世界问题需要部署合奏多个互补学习模型,以达到可接受的绩效水平。虽然有效,但将整个合奏应用于每个样本都是昂贵且通常不必要的。深钢筋学习(DRL)提供了一种具有成本效益的替代方案,其中检测器是根据其前辈的输出动态选择的,其实用性加权其计算成本。尽管它们具有潜力,但基于DRL的解决方案并未在这种能力中广泛使用,部分原因是在为每个新任务配置奖励功能,DRL代理对数据变化的不可预测反应以及无法使用常见的反应的困难。性能指标(例如TPR/FPR)指导该算法的性能。在这项研究中,我们提出了用于微调和校准基于DRL的策略的方法,以便它们可以满足多个绩效目标。此外,我们提出了一种将有效的安全策略从一个数据集传输到另一个数据集的方法。最后,我们证明我们的方法对对抗性攻击非常强大。
translated by 谷歌翻译
矩阵函数可用于重写光滑光谱约束的矩阵优化问题,因为在一组对称矩阵的集合中,不受限制的问题,然后通过立方规范化的牛顿方法求解。事实证明,矩阵函数的二阶链条规则身份可以计算高阶导数以实现立方规范化的牛顿,并为矩阵矢量空间的立方调节牛顿提供了新的收敛分析。我们通过在合成数据集和真实数据集上进行数值实验来证明我们的方法的适用性。在我们的实验中,我们制定了一个新的模型,以估算泰勒的M-估计器(TME)模型的精神估算公平和稳健的协方差矩阵并证明其优势。
translated by 谷歌翻译
自主物理科学领域 - 机器学习指南和从闭环中的实验中学习的领域正在迅速增长。自主系统使科学家能够更聪明,学习速度更快,并在其研究中花费更少的资源。该领域有望改善各种设施的性能,例如实验室,研发管道和仓库。随着自主系统的数量,能力和复杂性的增长,出现了新的挑战 - 这些系统将如何在大型设施中共同运行?我们探索了这个问题的一种解决方案 - 一个多代理框架。我们展示了一个具有1)具有现实资源限制的模拟设施,例如设备使用限制,2)具有多种学习能力和目标的机器学习代理,对实验室仪器的控制以及运行研究活动的能力以及3)网络这些代理可以共享知识并共同努力以实现个人或集体目标。该框架被称为多代理自治设施 - 可扩展的框架又称多任务。多任务允许整个设施的模拟,包括代理启动和代理代理交互。框架模块化使真实世界的自主空间可以阶段上线,模拟仪器逐渐被现实世界的仪器代替。在这里,我们通过模拟材料实验室中的材料探索和优化的现实世界材料科学挑战演示了框架。我们希望该框架在基于代理的设施控制场景中开辟了新的研究领域基于游戏理论。
translated by 谷歌翻译
在元加强学习(META RL)中,代理商从一组培训任务中学习如何快速解决从相同的任务分布中绘制的新任务。最佳的元rl政策,又称贝叶斯最佳行为,是很好的定义,并保证了对任务分布的预期最佳奖励。我们在这项工作中探讨的问题是,需要多少培训任务来确保具有很高可能性的大致最佳行为。最近的工作为无模型设置提供了第一个这样的PAC分析,其中从培训任务中学到了依赖历史的政策。在这项工作中,我们提出了一种不同的方法:使用密度估计技术直接学习任务分布,然后对学习任务分布进行培训。我们表明,我们的方法导致界限取决于任务分布的维度。特别是,在任务分布中处于低维多方面的环境中,我们将分析扩展到使用降低性降低技术并说明这种结构,从而比以前的工作明显更好,这严格取决于状态和行动的数量。我们方法的关键是内核密度估计方法所隐含的正则化。我们进一步证明,当“插入”最先进的Varibad Meta RL算法时,这种正则化在实践中很有用。
translated by 谷歌翻译
我们提出了一种新型的二次编程公式,用于估计群体同步中的损坏水平,并使用这些估计来解决此问题。我们的目标函数利用了组的循环一致性,因此我们将我们的方法称为结构一致性(DESC)的检测和估计。该一般框架可以扩展到其他代数和几何结构。我们的表述具有以下优势:它可以忍受与信息理论界限一样高的腐败,它不需要对小组元素的估计值进行良好的初始化,它具有简单的解释,在某些温和的条件下,我们的全球最小值目标函数准确恢复了腐败水平。我们证明了方法在旋转平均的合成和真实数据实验上的竞争精度。
translated by 谷歌翻译
了解神经网络记住培训数据是一个有趣的问题,具有实践和理论的含义。在本文中,我们表明,在某些情况下,实际上可以从训练有素的神经网络分类器的参数中重建训练数据的很大一部分。我们提出了一种新颖的重建方案,该方案源于有关基于梯度方法的训练神经网络中隐性偏见的最新理论结果。据我们所知,我们的结果是第一个表明从训练有素的神经网络分类器中重建大部分实际培训样本的结果是可以的。这对隐私有负面影响,因为它可以用作揭示敏感培训数据的攻击。我们在一些标准的计算机视觉数据集上演示了二进制MLP分类器的方法。
translated by 谷歌翻译
新辅助化疗(NAC)对乳腺癌的病理完全反应(PCR)的早期预测在手术计划和优化治疗策略中起着至关重要的作用。最近,建议从多参数MRI(MP-MRI)数据(包括动态对比增强的MRI和扩散加权MRI(DWI))中的多参数MRI(MP-MRI)数据提出基于机器和深度学习的方法。我们引入了PD-DWI,这是一种生理分解的DWI机器学习模型,可预测DWI和临床数据的PCR。我们的模型首先将RAW DWI数据分解为影响DWI信号的各种生理线索,然后使用分解数据,除了临床变量外,还用作基于放射线学的XGBoost模型的输入特征。我们使用公开可用的乳房多参数MRI来预测NAC响应(BMMR2)挑战的公共乳房多参数MRI,证明了PD-DWI模型的添加值与传统的机器学习方法相比,用于从MP-MRI数据进行PCR预测的传统机器学习方法。与当前排行榜上的最佳结果(0.8849 vs. 0.8397)相比,我们的模型大大改善了曲线下的面积(AUC)。 PD-DWI有可能改善NAC乳腺癌后PCR的预测,减少MP-MRI的总体采集时间,并消除对比造影剂注射的需求。
translated by 谷歌翻译